Организуйте обмен данными с Kafka Streams — KT.Team

Упростите работу над интеграциями с Airflow

Упростите работу над интеграциями с Apache Kafka

Брокер сообщений Apache Airflow — распределённая потоковая платформа, способная обрабатывать миллионы событий ежедневно. Kafka гарантирует простоту интеграции в инфраструктуру проекта, надёжность и масштабируемость системы.

Kafka Connect

Kafka Connect — фреймворк Apache Kafka, обеспечивающий масштабируемость и гибкость перемещения данных между Kafka и другими хранилищами. Этот фреймворк позволяет брокеру выступать в роли сервисной шины ESB.

Фреймворк Kafka Connect позволяет брокеру Kafka выступать в качестве сервисной шины — KT.Team

Возможности Apache Airflow

1

Потоковая обработка данных

Узнать больше о возможностях Kafka — KT.Team
Потоковая обработка данных в Kafka— KT.Team

Потоковая обработка Airflow работает с данными в режиме реального времени со скоростью генерации сообщений. Обработка сообщений происходит непрерывно и без блокировки. Многие бизнес-процессы также осуществляются непрерывно и не требуют ответа для обработки. Потоковая обработка данных необходима для таких бизнес-процессов, как оповещение о подозрительных транзакциях или отслеживание почтовой доставки.

2

Отслеживание активности приложений

Узнать больше о возможностях Kafka — KT.Team
Отслеживание активности приложений в Kafka — KT.Team

Любые сообщения, возникающие в приложении, могут быть опубликованы в специальной теме (topic) Airflow. Например, каждый документ ERP-системы или каждое действие пользователей на сайте: клики, добавление в избранное, добавление/удаление из «Корзины», заполнение форм, просмотр страниц (и его глубина) — можно отправлять и распределять по специально заданным темам Airflow. Так, другие темы (потребители) могут подписаться на необходимые темы для различных целей — мониторинг, анализ, составление отчётов, персонализация и т. д.

3

Ведение журнала и мониторинг логов

Узнать больше о возможностях Kafka — KT.Team
Ведение журнала и мониторинг логовв Kafka — KT.Team

Airflow позволяет вести журналы и мониторить логи. Логи можно публиковать в темах Airflow, а журналы — хранить и обрабатывать в кластере в течение необходимого количества времени. Если у вас есть специальное приложение для мониторинга, оно сможет получать данные из тем Airflow в режиме реального времени.

4

Хранение сообщений

Узнать больше о возможностях Kafka — KT.Team
Хранение сообщений в Kafka — KT.Team

Airflow добавляет в журнал (сохраняет на диске) каждое сообщение и хранит там вплоть до момента очистки журнала от старых сообщений, который пользователь назначает заранее. Благодаря этому Kafka может использоваться как достоверный источник данных (в отличие от RabbitMQ, который удаляет сообщения сразу после доставки).

Преимущества Kafka Apache

1

Масштабируемость

Apache Airflow позволяет обрабатывать данные любого объёма. Вы можете начать работать с одним брокером, чтобы попробовать возможности Airflow, а потом увеличить количество брокеров для полной эксплуатации системы. Увеличить объём можно и во время работы текущего количества брокеров — это никак не отразится на системе в целом.

2

Надёжность системы

Одним из преимуществ Airflow является его надёжность. Например, если по какой-то причине «упадёт» один из брокеров Airflow, он переключит весь поток данных на другие брокеры и автоматически распределит между ними нагрузку — и система продолжит свою работу в штатном режиме.

3

Производительность

Благодаря своей высокой пропускной способности Apache Airflow способен обрабатывать более миллиона событий в секунду. Это делает Airflow самым популярным брокером сообщений в работе с big data.

Кейсы внедрения ESB–систем

Смотреть все

Смотреть все

Есть потребность во внедрении?

Напишите нам, рассчитаем сроки и стоимость внедрения ESB-системы

YouTube

Собрали все грабли в интеграциях,
чтобы не собирали
вы

Смотреть все

Пишем статьи для своего блога и для профильных изданий

Читать больше

Всегда ли нужен брокер сообщений?

Подробнее

«Точка-точка», брокер, ESB: какие интеграции помогут построить слабо связанную ИТ-архитектуру

Подробнее

Свойства гибкой и масштабируемой ИТ-инфраструктуры: ликбез по базовым концепциям и основные критерии оценки

Подробнее

Смотреть все

Калькулятор проекта

Стоимость разработки
5 775 000 рублей
Команда разработает за
6 недель
Включено в расчет
Cross or Plus Icon
  • Подготовка карты систем и потоков данных (SOA схема);
  • Проработаем обмены по ключевым сущностям;
  • Создание коннекторов для обмена данными по каждому потоку на 3 стендах (тест, препрод, прод);
  • Настройка до трех дашбордов на один коннектор внутри готового контура мониторинга;
  • Документация по копированию интеграции, переиспользованию, обслуживанию;
  • Демонстрация реализованного функционала.
Дополнительные работы
Cross or Plus Icon
  • Подготовка инфраструктуры для работы коннекторов;
  • Настройка контура мониторинга и логирования;
  • Создание коннекторов (хранилище - получатель) для обмена данными по каждому высоконагруженному потоку (>100 сообщений в минуту) на 3 стендах (тест, препрод, прод);
  • Свыше 15 атрибутов для каждого потока;
  • Стоимость вычислительных ресурсов (только для подписки);
Сколько потоков системы будут отправлять

Пример: «Система управления товарами» будет отправлять данные о товарах. «Система управления заказами» — о заказах. «Система управления складом» — о статусе отгрузки. Это 3 потока.

0
0
100

Пример: «Система управления складом» будет принимать данные о товарах и заказах. «Система управления заказами» — о товарах и статусе отгрузки. Это 4 потока.

Сколько потоков системы будут принимать
0
0
100
Обсудить проект

Калькулятор считает по точной, но упрощенной формуле. Состав работ по вашему проекту и конечная стоимость могут отличаться. Итоговый расчет сделает ваш персональный менеджер.

Обсудить проект

Калькулятор считает по точной, но упрощенной формуле. Состав работ по вашему проекту и конечная стоимость могут отличаться. Итоговый расчет сделает ваш персональный менеджер.

1

Пример расчета

Узнать больше о возможностях Mule ESB — KT.Team
Создание и размещение сервисов на Mule ESB — KT.Team

Для передачи данных между системами мы создаем "поток". Одни потоки нужны для отправки данных, другие - для получения. В отдельном потоке могут передаваться заказы, товары или другие сущности.

Для примера на схеме:
1. «Система управления товарами» отправляет товары. «Система управления складом» — факт отгрузки заказа. «Система управления заказами» — заказы. Итого системы будут отправлять 3 потока;

2. «Система управления складом» принимает товары и заказы. «Система управления заказами» — товары и факт отгрузки заказа. Итого системы будут принимать 4 потока.

2

Состав работ в калькуляторе

Узнать больше о возможностях Mule ESB — KT.Team

Включено в расчет

Дополнительно

Подготовка карты систем и потоков данных (SOA схема)

Подготовка инфраструктуры для работы коннекторов

Проработка логики объекта (схема бизнес-процесса коннектора)

Настройка контура мониторинга и логирования

Создание коннекторов для обмена данными по каждому потоку на 3 стендах (тест, препрод, прод)

Создание коннекторов (хранилище - получатель) для обмена данными по каждому высоконагруженному потоку (>100 сообщений в минуту) на 3 стендах (тест, препрод, прод)

Настройка до трех дашбордов на один коннектор внутри готового контура мониторинга

Свыше 15 атрибутов для каждого потока

Документация по копированию интеграции, переиспользованию, обслуживанию

Демонстрация реализованного функционала

Включено в расчет

Подготовка карты систем и потоков данных (SOA схема)

Проработка логики объекта (схема бизнес-процесса коннектора)

Создание коннекторов (источник - хранилище, хранилище - получатель) для обмена данными по каждому объекту на 3 стендах (тест, препрод, прод)

Настройка до трех дашбордов на один коннектор внутри готового контура мониторинга

Свыше 15 атрибутов для каждого объекта

Дополнительно

Подготовка инфраструктуры для работы коннекторов

Настройка контура мониторинга и логирования

Создание коннекторов (хранилище - получатель) для обмена данными по каждому высоконагруженному объекту (>100 сообщений в минуту) на 3 стендах (тест, препрод, прод)

Свыше 15 атрибутов для каждого объекта

Мы используем файлы cookie, чтобы предоставить наилучшие возможности сайта

Ок
Заходите в наш бот за оперативной консультацией и полезной информацией